Nos últimos anos, a IA se integrou a vários aspectos da vida, desde assistentes de voz até veículos autônomos. No entanto, sua ampla aplicação também apresenta riscos potenciais, sendo a tecnologia deepfake um foco de preocupação social. A tecnologia deepfake usa algoritmos para gerar conteúdo falso altamente realista, aprendendo com grandes quantidades de dados reais para criar vídeos ou imagens extremamente parecidos com pessoas ou cenários. Embora demonstre o poder da IA, também dá origem a atividades fraudulentas. Por exemplo, recentemente ocorreram casos de lives de vendas que usavam a imagem e a voz do Dr. Zhang Wenhong falsamente. A falsificação...

A advogada da vice-prefeita de São Francisco, Yvonne Meré, entrou com uma ação contra 16 sites que usam inteligência artificial para criar conteúdo pornográfico deepfake. Esses sites usam IA para transformar fotos de mulheres e meninas em imagens de nudez sem o consentimento delas, levantando preocupações legais e éticas. A ação visa combater essa tendência prejudicial, que está crescendo entre adolescentes, especialmente aqueles que usam "aplicativos de nudez" para manipular fotos de colegas. Esses sites receberam 200 milhões de acessos nos primeiros seis meses, oferecendo serviços iniciais gratuitos, com processamento posterior pago.

Em setembro de 2023, o número de acessos a aplicativos e sites que usam inteligência artificial para criar deepfakes aumentou drasticamente, atingindo 24 milhões de usuários. Anúncios nas redes sociais impulsionaram esses serviços, com um aumento de mais de 2400% nos links de anúncios nas redes sociais, levantando preocupações sobre deepfakes pornográficos não consensuais. Com o avanço da tecnologia de IA, os softwares de deepfake ficaram mais fáceis de serem criados, tornando pessoas comuns alvos e gerando problemas de privacidade e legais. Em resposta a essa tendência, algumas plataformas, como TikTok e Meta Platforms, já começaram a tomar medidas.